We present a new pre-trained language model (PLM) for modern Hebrew, termed AlephBERTGimmel, which employs a much larger vocabulary (128K items) than standard Hebrew PLMs before. We perform a contrastive analysis of this model against all previous Hebrew PLMs (mBERT, heBERT, AlephBERT) and assess the effects of larger vocabularies on task performance. Our experiments show that larger vocabularies lead to fewer splits, and that reducing splits is better for model performance, across different tasks. All in all this new model achieves new SOTA on all available Hebrew benchmarks, including Morphological Segmentation, POS Tagging, Full Morphological Analysis, NER, and Sentiment Analysis. Subsequently we advocate for PLMs that are larger not only in terms of number of layers or training data, but also in terms of their vocabulary. We release the new model publicly for unrestricted use.
translated by 谷歌翻译
我们为拉比希伯来语提出了一种新的预训练的语言模型（PLM），称为Berel（Bert bert嵌入了拉比编码的语言）。尽管存在其他PLM用于处理希伯来文本（例如Hebert，Alephbert），但它们都接受了现代希伯来语文本的培训，该文本在其词典，形态学，义学和正学规范方面与犹太人希伯来语有很大的不同。我们通过一组希伯来语同源物来证明贝雷尔在拉比文本上的优越性。我们发布了无限制使用的新模型和同型挑战。
translated by 谷歌翻译
卷积神经网络包含强大的先验，用于产生自然的图像[1]。这些先验可以以无监督的方式启用图像降解，超级分辨率和灌输。以前尝试在音频中展示类似想法的尝试，即深度音频先验，（i）使用诸如谐波卷积之类的手挑选的体系结构，（ii）仅使用频谱输入工作，并且（iii）主要用于消除高斯噪声[2]。在这项工作中，我们表明，即使在使用原始波形时，现有的音频源分离的SOTA体系结构也包含深度先验。可以通过训练神经网络来发现深度先验，以产生单个损坏的信号，因为将白噪声作为输入。具有相关深度先验的网络可能会在损坏的信号收敛之前生成更清洁的信号版本。我们通过几种损坏证明了这种恢复效果：背景噪声，混响和信号中的差距（音频介绍）。
translated by 谷歌翻译
自动室内映射的问题解决了。目的是最大程度地减少达到预定百分比的暴露百分比，并以一定的确定性水平。在路径计划和地图构造中，都使用预训练的生成深神经网络，充当地图预测指标，以加快映射过程。该方法与两个不同的平面图数据集的几个基于边界的路径计划结合使用。对集成地图预测变量的多种配置进行了仿真，其结果表明，通过利用预测，可以大大减少映射时间。当预测均集成到路径规划和地图施工过程中时，表明在某些情况下，映射时间可能会减少50％以上。
translated by 谷歌翻译